#!/usr/bin/env bash

export CUDA_VISIBLE_DEVICES=5,6,7
onmt_train \
    --src_word_vec_size 500 \
    --tgt_word_vec_size 500 \
    --feat_merge concat \
    --model_type text \
    --model_dtype fp32 \
    --encoder_type rnn \
    --decoder_type rnn \
    --enc_layers 2 \
    --dec_layers 2 \
    --rnn_size 500 \
    --input_feed 1 \
    --rnn_type LSTM \
    --global_attention general \
    --global_attention_function softmax \
    --heads 8 \
    --data ../data/title_remark/remark_output/remark \
    --save_model ../model/remark/translation_remark_model \
    --save_checkpoint_steps 5000 \
    --world_size 3 \
    --gpu_ranks 0 1 2 \
    --master_ip localhost \
    --master_port 10000 \
    --train_from '' \
    --batch_size 256 \
    --batch_type sents \
    --valid_steps 10000 \
    --valid_batch_size 128 \
    --max_generator_batches 32 \
    --train_steps 4000000 \
    --learning_rate 0.5 \
    --learning_rate_decay 0.5 \
    --log_file_level 20